YouMove: Enhancing Movement Training with an Augmented Reality Mirror
https://youtu.be/DsZ-9opi150
University of Alberta, Edmonton, Canada
Autodesk Research, Toronto, Canada
Autodesk Research, Toronto, Canada
Autodesk Research, Toronto, Canada
YouMove is a novel system that allows users to record and learn physical movement sequences. The recording system is designed to be simple, allowing anyone to create and share training content. The training system uses recorded data to train the user using a large-scale augmented reality mirror. The system trains the user through a series of stages that gradually reduce the user's reliance on guidance and feedback. This paper discusses the design and implementation of YouMove and its interactive mirror. We also present a user study in which YouMove was shown to improve learning and short-term retention by a factor of 2 compared to a traditional video demonstration.
YouMoveは、身体の動きのシーケンスを記録して学習することができる斬新なシステムです。記録システムはシンプルに設計されており、誰でもトレーニングコンテンツを作成して共有することができます。トレーニングシステムは、記録されたデータを用いて、大規模な拡張現実の鏡を使ってユーザーをトレーニングします。このシステムでは、ユーザのガイダンスやフィードバックへの依存度を徐々に低下させながら、一連の段階を経てユーザを訓練する。本論文では、YouMoveとその対話型ミラーの設計と実装について述べる。また、従来のビデオデモと比較して、YouMoveが学習と短期的な定着率を2倍向上させることが示されたユーザー研究についても紹介する。
Proceedings of the 26th annual ACM symposium on User interface software and technologyOctober 2013 Pages 311–320
概要
YouMoveは，ユーザーが身体の動きを記録し、学習することができるシステム
トレーニングシステムは，記録されたデータをもとに，大規模な拡張現実（AR）ミラーを使ってユーザーをトレーニングし，システムでは，ユーザがガイダンスやフィードバックに依存する度合いを徐々に減らす一連の段階を経て，ユーザをトレーニングする．
本論文では、YouMoveとそのインタラクティブミラーの設計と実装について説明．
YouMoveを従来のビデオデモンストレーションと比較して，学習効果と短期的な記憶力を2倍に向上させることが示された．
背景
現在では，YouTubeなどのオンラインビデオサイトで，多くの動作トレーニングビデオが提供されている．
様々なスキルのビデオが利用できる一方で，トレーニングメディアとしてのビデオの利用には限界がある．
動画にはフィードバックがなく，3次元的な動きの情報が得られず，個人的なモチベーションも継続できない．
本研究では，全身の動きを学習するシステムYouMoveを紹介する．
YouMoveは，Kinectベースの記録システムと，それに対応するトレーニングシステムで構成される．
録画システムは，誰でも簡単に使えるように設計されている．複雑なモーションキャプチャーのハードウェアやソフトウェアを必要とせずに，動きのシーケンスを撮影し，学習のための注釈を付けることができる．
トレーニングシステムは，記録されたビデオと3Dの動きのデータを使用して，一連のインタラクティブなステージを通してトレーニング参加者を指導する．トレーニングシステムは、従来の「バレエの鏡」のような体験を，グラフィックがオーバーレイされた半透明の鏡を使って，ガイダンスとフィードバックを行うことで補強している．
ユーザー調査では，YouMoveは従来のビデオデモンストレーションと比較して，動きの学習と短期的な保持を2倍向上させることが確認できた．
YouMoveは，ヨガ，ダンス，理学療法など，さまざまな分野の動きにすぐに役立つものであり，センシングがさらに進歩すれば，より多くの分野で利用できるようになる．
論文の貢献度
・一般化された初の全身運動トレーニングシステムであるYouMoveを提供．
・全身を対象としたインタラクティブなARミラーの設計ガイドライン，実装の詳細，およびインタラクション技術を提供．
設計（YouMoveシステムの開発の指針となる一連の設計目標・デザインガイドライン）
・ユーザのモチベの向上
トレーニングシステムは，ユーザの進歩をフィードバックし，ユーザに練習の継続を促し，楽しい経験となるようなものでなければならない．
・シンプルな表示、低い認知的負荷
ユーザーの注意は，複雑なUI要素を解釈することではなく，動作に集中するべきである．動作の直接的な表現とシンプルな採点方法により，ユーザは動作の学習に集中することができる．
・アダプティブガイダンス
過剰なガイダンスやビデオデモンストレーションは，ユーザがガイドに依存するようになるため，学習を妨げる可能性がある．ユーザーが学習するにしたがって，ガイダンスを減らす必要がある．
・まとめられたフィードバック
複数のパフォーマンスからのフィードバックを集約することで，ユーザは自分の動きの中にあるシステミックなエラーを見ることができる．
・ユーザ主導の学習
訓練生のスキルレベルや好みは様々であり，それに応じてトレーニングの必要性も変わってくる．システムは，学習効果を最大化するために，ユーザが自分のペースで学習を進められるようにする必要がある．
システム実装
・拡張現実ミラーの実装
YouMoveでの鏡の使用は，バレエスタジオでよく見られる床から天井までの鏡を参考．
ディスプレイは，3.2m×1.8mのガラスの片面に半透過性のミラーフィルムを，もう片面に拡散性のフィルムを貼り付けている．
ミラーフィルムは，ユーザーと向き合う面に貼られている．フィルム1は可視光の16％を透過し，58％を反射する．結果，投影された光を透過させつつ，高い反射率を得ることができた．
拡散フィルムは、背面に設置されたプロジェクター（三菱FD630U、1920x1080ピクセル）からの光を拡散させる．
ミラーの下にはユーザーを追跡するためのMicrosoft Kinectが取り付けられている．鏡の位置はKinectの座標空間で指定される．
ユーザーの頭の位置と鏡の角の位置によって，画面上のコンテンツをレンダリングするための非対称な投影マトリクスが定義される．
・照明
照明がコントロールされた環境では，より良い体験ができる．
周囲の光が明るく，投影画像が暗い場合，ユーザーは鏡に映った自分の姿にのみ集中します．
周囲の光が弱く，投影画像が明るい場合，ユーザーの反射は消える．
適度な明るさの環境下では，ユーザーの反射光と投影画像の両方が見える．
周囲の光を操作するために，照明の調光スイッチにサーボモーターを取り付け，USB経由でArduinoを介してPCに接続．
サーボモーターの取り付けには，モジュール式のビルディングブロック（LEGO）を使用し，モーターを簡単に取り外して後から正確に交換できる．既存の調光スイッチを物理的に作動させるため，ユーザーは既存の配線を変更したり，手動で照明を調整したりする必要がない．
・インタラクション
ミラーベースの拡張現実によるユーザーの反射を利用して，画面上のコンポーネントを直接作動させることができる．
よって，3Dの自由空間から2Dのインターフェースを直接操作することができる．
この反射によって，手の位置に関するゼロレイテンシーのフィードバックを提供し，迅速な位置決めを可能にする．
ボタンは，ボタンの上で手を滞留させることで作動する．滞留時間中，ボタンは拡張され，フィードバックが得られるとともに，ユーザの手が移動した場合には起動領域が拡大される．
YouMoveの実装
YouMoveは，データを記録するための簡単なプログラムと，そのデータを再生するための別のトレーニングシステムで構成．
オーサリングシステムとトレーニングシステムは独立して動作するように設計．
記録用のソフトウェアは，WPFフレームワークとKinect SDK (v1.6)を使用してC#で書かれている．
トレーニング用のソフトウェアはC++で書かれており，openFrameworks，OpenGL，Microsoft Kinect SDK v1.6を使用．
すべてのソフトウェアは，12GBのRAMとデュアルコアプロセッサを搭載したWindow 7 PCで実行．
トレーニングシステムに必要なキャリブレーションは，最初のセットアップ時にミラーの位置を指定するだけである．
YouMoveオーサリングシステム
トレーナーの動きなどをキャプチャするためのカスタムソフトウェアを開発．キャプチャーを簡単にすることで，複雑なモーションキャプチャーのハードウェアやソフトウェアを必要とせずに，専門家が学習教材を提供することができる．
録画システムでは，作者自身が動作を行っている様子を録画する．
このシステムは，著者のビデオ，音声，3Dスケルトンの動作データをキャプチャする．
・収録の様子
ソフトウェアを起動すると，画面には「録画」ボタンが1つと，Kinectからの現在のビデオストリーム，およびスケルトンのオーバーレイが表示される．動きを撮影するには，作者は録画ボタンを押し，動きを実行した後，停止ボタンを押す．停止ボタンを押すと，編集画面に移る．
・編集
編集画面では，不要なデータを除去するために，記録をトリミングすることができる．
また，動作のグローバルパラメータ（タイミング，滑らかさ，精度，安定性など）を指定することも可能である．
これらのパラメータは，トレーニングシステムがフィードバックを行う際に使用される．
次に、記録した動作のキーフレームを指定する．キーフレームとは，動作の中で練習者が一致させることが特に重要な姿勢のことであり，例えば，野球のスローイングでは手の伸展がピークに達したときがキーフレームになる．
キーフレームを指定するには，目的のフレームに移動し，ジョイントを直接クリックして，そのキーフレームに重要なジョイントを指定する．関節を選択すると，現在のフレームがキーフレームになる．これらのキーフレームと重要な関節は，トレーニングシステムで使用され，カスタマイズされたガイダンスとフィードバックを提供する．
個々のキーフレームに追加の視聴覚記録を関連付けることもでき，練習者が動きに関する追加情報を提供することができる．
このアノテーションは，各キーフレームマーカーの下にある「記録」と「停止」のボタンをクリックすることで行う．
アノテーションは，練習者が動きを見ただけではすぐにわからない情報を提供するために使用できる．例えば，野球のボールを投げるときには，キーフレームに「肘は約90度にしてください」という短いクリップをアノテーションで表示するなど．
・キャプチャーの保存と共有
保存ボタンをクリックしてキャプチャーを保存する．データはメディアファイル（mp4ビデオとwavオーディオ）と，タイムスタンプ付きのスケルトンの位置とデータの同期に使用されるキーフレームのメタデータを含むプレーンテキストファイルとして保存される．
YouMoveトレーニングシステム
トレーニングシステムは，オーサリングシステムで記録した動作を教えるためのものである．
・動作ギャラリー
システムの初期画面では，ユーザーが学習したいと思う動作のギャラリーが表示される．
・例題検索
虫眼鏡を選択すると，ユーザは例示された動作を検索することができる．
検索画面では，ユーザに代表的な動作の姿勢をとるように指示する．ユーザーが静止すると、システムはライブラリ内の動作を検索し，最も似ている動作をグリッド状に表示してユーザーに選択させる．
検索に使用される姿勢の類似性のヒューリスティックは，トレーニングで使用されるスコアリング指標と同じもの．つまり、ユーザーが行っている姿勢の「スナップショット」を取り，それをライブラリの各動作のキーフレームと比較する．
・スケルトンのアライメント
YouMoveトレーニングシステムの基本的な機能は，手本と練習者のスケルトンの比較に基づいたガイダンスとフィードバックである．Kinectは骨格のトラッキングを行い，20個の関節の3D位置を30Hzで更新している．追跡される関節には，手，腕，胴体，脚，頭などの大きな体のパーツが含まれているが，細かい動き（指など）は追跡されない．
手本のトレーニング用スケルトンを各ユーザーに対して適切にキャリブレーションするためには，ユーザーのサイズと位置に合わせてスケーリングとトランスレーションを行う必要がある．これは，スケルトン駆動のフィードバックと，正確なスコアリングのために必要である．空間的な位置合わせは，手本のスケルトンの腰と訓練生の腰を合わせることで行われる．訓練者はKinectに対して同じ向きで動作を行うことを想定しているため，向きの調整は行わない．
スケルトンのスケーリングは，練習者のスケルトンの各ボーンのサイズを，対応する骨格のサイズに合わせて動的に変更することで実現している．このスケーリングは腰から階層的に行われ，スケルトン全体に変化が伝わる．単純に一律のスケーリングを行うと，手足の長さが比例して異なるユーザーに対応できないため，この方法が必要となる．このスケルトンアルゴリズムはロバストに動作し，練習者の年齢，身長，体重が著者と大きく異なる場合でも，システムがうまく動作することが分かった．
・スコアリングとステージプログレッション
YouMoveシステムには，ユーザーのモチベーションを高めるために設計されたゲーミフィケーションの要素がいくつか組み込まれている．
トレーニングは一連のステージで構成され，各ステージでは，ユーザーの動きとターゲットの動きの類似性に基づいて，ユーザーのパフォーマンスが採点される．
ユーザーのパフォーマンスが十分に高ければ，金の星を獲得し，次のステージに進むことができる．挫折しないように、ステージを2回繰り返すと，そのステージがアンロックされる．
各キーフレームは，ユークリッド距離で測定された最大の誤差を持つジョイントに基づいてスコアリングされる．オーサリングツールで指定された重要なジョイントのみがスコアの計算に使用される．タイミングの小さな誤差を許容するために，ターゲットフレームの両側にある0.5秒のウィンドウが検索され，最もマッチする姿勢が見つかる．
・トレーニングステージ
ギャラリーから動きを選択すると，システムは5つのステージを経て進む．
「デモンストレーション」「ポスチャーガイド」「ムーブメントガイド」「ミラー」「On Your Own」の5つのステージ．
ユーザーは選択画面を使ってステージを移動することができるが，ロック機構があるため，最初はステージを順番に行わなければならない．
各ステージでは，段階的に動作を紹介し，ガイダンスやフィードバックへの依存度を徐々に下げていく．
各ステージは，ユーザにユニークな課題と動作を行うための異なるコンテキストを提示し，学習の特異性による悪影響を軽減する．「ポスチャー（姿勢）ガイド」は2回，「ムーブメント（動作）ガイド」「ミラー（鏡）」「On Your Own」は5回繰り返され，ユーザーは中断されることなく練習することができる．
デモンストレーション
デモンストレーションのステージでは，録画したビデオを訓練者のために再生する．
このステージでは，シンプルで親しみやすいデザインになっているため，学習する動作に集中することができる．タイミングを計るために，映像と同時に音声が流れる．
動きの開始時に，録音された音声が「And」という言葉を話し，各キーフレームが「One」「Two」などのように順番にカウントアウトされる．メトロノームのクリック音ではなく，数字を使うことで，訓練生はそれぞれの動きを順番に覚えることができる．このカウント方法は，「On Your Own」を除く他のすべてのガイドにもある。画面下のプログレスバーは，ビデオの再生と同期している．
ポスチャーガイド
姿勢ガイドは，キーフレームごとに動作を一時停止し，エラーをリアルタイムにフィードバックすることで，トレーニング生の体勢を洗練させる．このステージは，チュートリアルを中断して，訓練生が自分のペースで作業できるようにしている．
このステージでは，ユーザが安定した姿勢を1秒間維持するか，5秒経過するまで一時停止する．画面下にある追加のプログレスバーは，現在安定している時間を表している．オーサリングツールで安定性をグローバルパラメータとして指定すると，安定した動きを検出する閾値が1フレームあたり5cmから3cmに下がる．
この段階では，周囲の照明を増やし，レンダリングされた各フレームでトレーナーのスケルトンを訓練生に仮想的に合わせる．
受講者は，自分の姿とトレーナーの緑色の骨格を合わせるように指示される．ポジショニングの誤差は，ユーザーの関節に赤い円が重なって表示され，円の半径は関節の誤差に比例する．
最大の誤差がZ軸（奥行き）にあると判断された場合には，トレーナーの動きに重ねて，自分の体の位置をサイドビューで表示するコールアウトウィンドウが表示される．また画面上には著者のオリジナルビデオも表示され，視覚的な参照ができるようになっている．ビデオは，画面上のスペースを確保するため，、ビデオ内のトレーナーの骨格の位置に基づいて自動的に切り取られる．
動作ガイド
動作ガイドは，姿勢ガイドと同様のスケルトンを提供するが，リアルタイムで動き，キーフレームで一時停止しない．
また，トレーナーの骨格は，反復するたびに訓練者の開始位置に対して相対的に配置されるため，訓練者は骨格と一緒に移動して配置を維持しなければならない．
動作ガイドには「キューリボン」と呼ばれる3次元の軌跡が表示され，次の動作を視覚化することでタイミングを図ることができる．リボンには，現在のフレームから300ms先の手と足の軌跡が表示され，未来に行くほどリボンが不透明になっていく．
視覚的な複雑さを軽減するために，リボンは，その後の300ms以内に関節が75cm/sの速度閾値を超える場合にのみ表示される．滑らかさが重要なパラメータとして指定されている場合は，500m/s先の動きまでリボンが拡張され，訓練生が今後の軌道をより良く準備できるようにしている．
ミラーガイド
ミラーガイドは，訓練生が自分の姿に集中することを促すもので，動きを誘導するための視覚的な手がかりは一切ない．
鏡には黒いスクリーンが投影され，周囲の照明を強めにすることで，鏡に映る自分の姿をはっきりと見ることができるようになっている．
タイミングを計るために，音声による合図もある．このタイプのガイドは鏡の前でインストラクターがビートを数えながら練習するバレエのクラスに似ている．
オンユアセルフ
「On Your Own」ガイドは，学習したことだけを頼りに練習する，実際のパフォーマンスのシナリオを模倣している．
周囲の照明はオフで，鏡には白い画像が投影され，受講者には反射が見えないようになっている．
音声の手がかりは，動作の開始を示す「and」という言葉だけである．
ポストステージ・フィードバック
練習者は，「Post-Stage Feedback」画面で自分のパフォーマンスを確認することができる．
この画面は，デモンストレーションを除く各トレーニングステージの後に表示される．
この画面では，これまでの反復練習の結果が要約され，各キーフレームのデータが集約されて表示される．
練習者は、キーフレーム間を移動して，そのキーフレームの平均スコア，自分の体のポーズ，そのフレームのサマリービデオを見ることができる．
ステージ終了後のフィードバックでは，周囲の照明は適度なレベルに保たれ，投影される背景はグレーになる．
これにより，受講者は画面上のコンテンツを見ることができる一方で，自分の姿を確認したり，リフレクションベースのボタンを使ったりすることができる．
姿勢の誤差は2つのスケルトンで表現される：全反復に対するトレーニーの平均的なスケルトン（青）とトレーナーのスケルトン（緑）．
姿勢ガイドで使われているのと同じ円が，相対的な関節の誤差を示すフィードバックにも使われている．練習生はフィードバックを見ながら，左右に歩くことで骨格の3Dビューを回転させることができ，すべての次元での誤差を確認することができる．
また，各キーフレームごとにサマリービデオが用意されており，練習者は自分の動きを素早く評価し，トレーナーと比較することができる．
トレーナーの映像は，録画された映像を静止させたもので，練習生の映像は、動きを1回繰り返すごとに撮影された映像を0.5秒ずつアニメーションで表示したものである．アニメーション化することで，練習生はフレームごとの動きの変化を容易に確認することができる．
ユーザーの周りには，5つのコンテキストボタンが表示され，前のステージの再実行，次のステージへの移動，キーフレーム間の移動，現在のキーフレームにビデオアノテーションが関連付けられている場合はその表示が可能である．
評価実験
YouMoveと従来のビデオベースの指導法を比較する対照研究を行った．
効果はそれぞれのシステムでトレーニングを行った後の保持スコアの結果を用いて比較した．
また，被験者からはYouMoveシステムや鏡を使ったインタラクティブな表示についての質的なフィードバックも得られた．
・参加者
21歳から51歳（x̅=30.1歳）の8人の参加者（2人の女性）の参加者．
システムや研究に関する予備知識や経験，ダンスのバックグラウンドを持つ参加者はいなかった．
・研究の動き
この論文の著者は，2つのバレエの動きと2つの抽象的な動きの4つの動きを記録した．
バレエの動き（TenduとDeveloppeのバリエーション）は，概念的に簡単で，適度な動きしか必要としなかった．
抽象的な動きは，明確な構造を持たない一連の姿勢であり，かなりの動きを必要とするため，実行するのがより困難であった．
すべての動きに4つのキーフレームを使用した．
・条件
この研究では，「YouMove」と「ビデオ」の2つの条件を設定．
YouMove条件では，前述のYouMoveシステムを使用した．すべての動作にはマルチメディアのアノテーションやグローバルな動作パラメータの指定はなし．
ビデオ条件では，デモンストレーションガイドと同じサイズ（102×76cm）のミラースクリーンにビデオを投影し，ビデオの周囲は被験者に映らないように白く投影した．
・デザイン
この研究は，2因子反復測定デザインとして行われ，各参加者はYouMoveを使って2つの動き（アブストラクト1つの後にバレエ1つ）を学習し，またデモンストレーションビデオを使って別の2つの動きを学習した．条件の順番と動作のペアと条件の対応は、8人の参加者で完全に相殺された．
・実験手順
各参加者は，簡単なチュートリアルの動きを使って，YouMoveシステムを拝見した．
参加者がシステムに慣れたところで実験を開始した．
各動作はプレテストの段階から始まり，参加者はその動作のビデオを2回見た後，「On Your Own」ガイドの間にその動作を5回行った．
次に、参加者はYouMoveシステム全体、またはビデオのみを使用してトレーニングを行った．
トレーニング中，参加者はビデオに合わせて練習するか，YouMoveシステムの様々なガイドを使って練習するかのどちらかで，45回練習した．
YouMoveの条件では，ユーザーはロックされていないトレーニングステージに自由に移動することができた．
参加者は，トレーニング終了の5分後に短期記憶テストを行った．
このテストでは，デモンストレーションビデオを1回見て動作を確認した後，「On Your Own」ガイド中にその動作を5回行うというものであった．Kinectは，研究のすべての段階で参加者の動きを記録した．
タスクを終えた参加者には，質的なフィードバックを引き出すために，短いアンケートを実施した．
調査は約2時間で終了．
結果
条件（YouMove，ビデオ）と動作タイプ（バレエ，アブストラクト）の 2 つの独立変数を用いた反復測定 ANOVA を実施した．
パフォーマンス（図9）は，首，手，肘，膝，足の各関節を用いて，空間と時間を合わせたユーザーのスケルトンとターゲットのスケルトンの間のRMSEを計算することで測定した．
これらの関節が選ばれたのは，信頼性の高い追跡が可能であり，動きの情報の大部分を捉えることができるからである．
また，コンテンツ制作者が指定した関節のみを使用して同様の分析を行ったほか，誤差が最大となる関節を使用して分析を行った（ゲーム内のスコアを算出する際の指標）．
いずれの分析も同等の統計結果が得られたため，ここではRMSEの分析結果のみを紹介する．
テスト前からテスト後への変化は有意で（F(1,7) = 9.98, p = 0.02），YouMoveのスコアは平均0.10m（44％）向上し，Video条件では0.05m（20％）向上し，効果の大きさは中程度であった（η2 = 0.13）．
変化に対する動作タイプの効果は有意ではなく（F(1,7) = 0.24, p > 0.6），動作タイプと条件の相互作用も有意ではなかった．
（F(1,7) = 0.23, p > 0.7）ことから、YouMoveの効果は動作の難易度には依存しないことがわかった．
また、テスト後のスコアについてもANOVAを実施，条件は有意で（F(1,7) = 9.96, p = 0.02），YouMoveのスコアは0.12m，Videoのスコアは0.18mで，33％の向上が見られた（図10）．動きの種類についても，バレエの動きで0.10m，アブストラクトの動きで0.19mと，バレエの動きの方が簡単であることを示すスコアが得られ，有意な結果となった（F(1,7) = 114.2, p < 0.01）．
ステージ使用状況の分析
「YouMove」条件では，ほとんどの参加者がトレーニングガイドを順番に実行したが，一部の参加者はガイドを再生してから続行した．すべてのステージをアンロックした後，明確な好みは無かったが，ユーザーはポスチャーガイドに戻ることが少ないようだった．これは，ポスチャーガイドが必要とする時間が長くなるためだと思われる．
トライアルごとのガイドの使用状況を図11に示す．
考察
全体として，事前テストと事後テストの結果を比較すると，YouMoveシステムによって学習効果が2倍以上（44％対20％）になったことは，このシステムがよかったと言える．
・学習効果の分析
すべての条件において，参加者は最初の数回のトレーニングで動作を習得し（図9），その後は比較的一定のパフォーマンスでプラトーに達した．これは，ビデオ条件の場合，トレーニング参加者が本当にプラトーに達し，ビデオから得られる有用な情報をすべて学んだためと考えられる．
しかし「YouMove」条件では，ガイダンスを徐々に減らしていくことで，練習生は継続的に動作を学び，ガイダンスの不足分をスキルの向上で補い，結果的に常に高いパフォーマンスを得ることができた．
YouMoveを使用した場合，リテンションテストでもパフォーマンスが維持されていることから，リテンションスコアは学習効果の向上を示している．
一方，ビデオのリテンションスコアはトレーニング時よりも悪く，図10の上向きの傾斜がそれを示している．
YouMoveシステムでのトレーニングには時間がかかったが（ビデオでは11分であったのに対し、平均20分），動作への暴露回数が一定であったため，これだけでは学習の結果を完全に説明することはできない．
さらに，ビデオ条件でのパフォーマンスは約8回の繰り返しでプラトー化しており，YouMove条件とは異なり，刺激は変化していないため，ビデオ条件を20分間繰り返したとしても，追加の学習が発生するとは考えられない．
・ミラーインタラクション
動的な照明は，ユーザの気を散らさないことを可能にした．動的な照明は，意図した効果をもたらし，画面を多重化することで，研修生は自分の姿と投影されたガイドの両方を使用することができた．
ただし，手の反射像と反射像選択技術のボタンを合わせるのが難しい参加者もいた．この問題を解決するために，選択が完了するまで5秒以上待たされた場合に表示される仮想カーソルを追加した．これらのカーソルは，初心者のユーザーが自分の動きを修正するのに必要なフィードバックを提供するが，反射を利用した効率的なインタラクションを妨げるものではない．
・手本による検索
今回のユーザー調査では，類似した動きを検索する機能はテストされなかったが，非公式に使用してみたところ，かなり強力で便利な機能であることがわかった．
初心者にとっては，この機能を使えば，動きの名前を知らなくても大きなデータベースに問い合わせができる．
これは，動きの名前が複雑だったり，暗号のようになっているドメインでは特に有効です．
トレーニング中，練習生のパフォーマンスは，トレーナーと同じフォーマットで記録される．これにより，ユーザーは自分の動きをアップロードして他の人が学べるようにしたり，後から自分の過去のパフォーマンスを見直すことができる．
・オーサリング
オーサリングシステムは簡単に使用できることがわかった．正式な調査は行っていないが，トレーニングを受けていないユーザーに送ったところ，最小限の労力でいくつかの動作を記録し，注釈を付けることができた．
その動きは無事に転送され，我々のトレーニングシステムで使用された．
オーサリングシステムは，コンテンツの拡張が可能であるため，エキスパートにもメリットがある．
1分間のコンテンツ作成で，約10分間のユニークなトレーニングコンテンツを作成することができる．
これにより，限られた時間の中で，最小限の投資で有用な量のコンテンツを作成することができる．
・トレーニングステージ
デモンストレーションのステージは，ユーザーから好評だった．
これは，教材としてのビデオに慣れていることと，参加者が内容を理解しやすいことによると思われる．しかし、一部の参加者からは，映像から手足の位置や深さを判断することの難しさを指摘する声も聞かれた．
姿勢ガイドでは，ユーザーが動きを修正することができ，姿勢ガイドと奥行きの吹き出しを使って，多くのポジショニングの誤りが修正された．姿勢ガイドと似たような性質を持つが，動作ガイドは最も好まれるガイドの一つであった．フルスピードでの練習指導を行いつつ，有益なフィードバックを提供している．
ミラーガイドと「On Your Own」ガイドは，明らかに価値のあった．多くの参加者は，動きを覚えたと感じていても，ガイドを取り上げられると，一連の流れを思い出すのに苦労する．
ステージ後のフィードバックも好評だった．5人の参加者が，前後に移動してスケルトンの視点を変えられる機能が便利だと明確に述べていた．このフィードバックの有用性は，多くの参加者がこのステージにかなりの時間を費やしたことからも明らかである．動きの露出量は一定に保たれており，フィードバック画面に費やす時間があれば実験時間が長くなることを認識していたが，それでも多くの参加者が各キーフレームを吟味した．
・限界と今後の課題
今回の評価では，多くの斬新な要素の複合的な効果を捉えている．各要素とその学習への貢献度を分析するためには、長期的な学習と保持も重要な課題である．
このシステムの限界の一つは，Kinectの骨格トラッキングに関連している．特に，大量のオクルージョンが発生するような動きをKinectでトラッキングすることは困難である．改善策としては，複数のKinectを活用することが考えられる．センシング技術の向上は，トレーニングの新しい領域を開拓する．楽器演奏，手術，多くのスポーツ，その他の運動技能に基づいた領域に，このようなシステムが役立つ可能性がある．
実世界の動きは，同じ動きをしていても位置関係が異なる場合があるため，学習の指標としてRMSEを使用することには限界がある．
もう一つの限界は，学習システムに必要な大きな鏡である．今回の実装では，ディスプレイとして半透明の鏡を使用しているが，従来のビデオベースの拡張現実システムとして動作させることもできる．この方法はユーザーにとってより身近なものとなるが，鏡のようなリアルタイムのフィードバックは得られない．様々なデバイス（大画面、小画面など）で，ミラーとビデオベースのシステムの間の学習の違いをよりよく理解することは興味深いことである．
また，ソーシャル機能やゲーミフィケーションの充実も，YouMoveの大きな助けとなる．オンラインのヨガ，ダンス，格闘技のクラスを想像することができ，オンラインの仲間のグループと競争することができるかもしれない．
・まとめ
新しい全身運動トレーニングシステムであるYouMoveを紹介した．
本研究では，拡張現実感ミラーの実装，誰もが簡単に全身の動きを記録できるコンテンツ作成システム、記録された動きを用いて難易度の高い段階を経てトレーニングを指導するトレーニングシステムについて検討した．
YouMoveを使用したユーザー調査では，ビデオを使った学習方法よりも短期的な記憶の定着率が高いという結果が出た．
事前テストと事後テストの結果を比較すると，YouMoveシステムによって学習効果が2倍以上（44％対20％）になった．
このシステムは，セラピーやヨガ，さまざまな種類のダンスなど、さまざまな分野ですぐに活用できる．